ChatGPT проверили тестом Тьюринга
Кэмерон Джонс , специализирующийся на языке, семантике и машинном обучении, и Бенджамин Берген, профессор когнитивных наук, проверили лучшую на настоящий момент языковую модель, опираясь на работу Алана Тьюринга, который 70 лет назад разработал тест, позволяющий определить, способна ли машина достичь уровня интеллекта и разговорной речи.
В их исследовании приняли участие 650 человек, которые вступали в беседы друг с другом или с GPT, после чего им предлагалось определить, с кем они разговаривали. Исследователи обнаружили, что модели GPT-4 обманули участников в 41 проценте случаев, тогда как модели GPT-3.5 обманули их только в 5-14 процентах случаев. Людям удалось убедить участников, что они не машины, только в 63 процентах испытаний.
